CCFormer: Efficient Cross-Field Interaction and Hierarchical Sequence Compression for Industrial Recommendation at Tencent
CCFormer：面向腾讯工业级推荐的高效跨域特征交互与分层序列压缩
🧭 工业推荐模型 · 长序列建模 ★ 深度解读
Platform and Content Group, Tencent
统一特征域分离交叉注意力与子空间token混合，实现长序列推荐的高效交互与2.21×训练加速
📌 工作参考价值（4 点）
- 特征域分离的交叉注意力：将用户、行为序列、目标物品显式解耦，仅执行必要的定向注意力，避免全 token 自注意力的二次方开销；同时支持单个前向为请求内所有候选目标并行打分，在线峰值 QPS 提升 30%。
- 子空间 token 混合替代自注意力：沿序列和通道维度分组，局部混合 token 与 hidden 维度，以轻微精度损失换取 2.21× 训练加速，适合长行为序列的粗粒度编码。
- 层次化序列压缩：Transformer 层间使用 1D 卷积下采样逐步收缩序列长度，自动构建多尺度感受野（短期→长期），在保持长程依赖的同时大幅缩减后续层的计算量。
- 工程化部署优化：混合精度训练（BF16）、嵌入表 INT8 量化 + 双哈希压缩、候选物品并行预测，实际验证了复杂架构在工业流量的可行性与收益。